Admite la traducción de voz en tiempo real de cerca de 100 idiomas con una latencia de alrededor de 2 segundos. Puede reproducir características complejas del habla, como pausas, tono y velocidad. Utiliza una arquitectura no autorregresiva que admite la traducción de secuencias largas. Se publican 4 modelos de traducción, datos y herramientas relacionados. Se agrega una marca de agua de audio para prevenir el uso indebido del modelo y reducir la toxicidad de la traducción.

'1. El nuevo modelo de traducción de código abierto SeamlessM4T de Meta admite la traducción de voz a 100 idiomas. 2. SeamlessM4T integra las ventajas de varios modelos de traducción, como NLLB y MMS. 3. SeamlessM4T se entrenó con 270 000 horas de datos de texto y voz alineados.'

{1:Meta lanza el mayor modelo de traducción multimodal de código abierto del mundo, que admite 100 idiomas y puede reconocer dialectos regionales. 2:SeamlessM4T es el primer modelo de traducción de IA unificado que admite tareas de traducción multimodales de voz a texto, voz a voz, texto a voz y texto a texto. 3:SeamlessM4T integra modelos de traducción lanzados previamente por Meta, como NLLB y MMS, y utiliza 270.000 horas de datos de voz y texto alineados.}